用Python实现贝叶斯定理（附代码）

写作说明

上一期我们讲了贝叶斯分类器，其中有很多的概率基础知识和贝叶斯定理。但是讲解的很没有重点，前半部分讲的是贝叶斯基础知识，最后很突兀的插进来一个文本分析-贝叶斯分类器。很多童鞋看到很累。其实上一期和本期都想附上《贝叶斯思维：统计建模的Python学习法》书中的代码，但我看了下源码，发现代码太长了信息量太大，不是我一篇文章就能展示的明白的。

今天我就早起翻看这本书，根据书上的讲解和自己的理解，用Python实现的一个简单的贝叶斯的脚本。本文只是用来验证自己贝叶斯定理是否理解，是否能自己动手实现，本身这脚本并没有什么高大上的功能，如果有的话，唯一的功能就是能用来做贝叶斯数学题O(∩_∩)O哈哈~。

曲奇饼案例

假设有两碗曲奇饼，碗A包含30个香草曲奇饼和10个巧克力曲奇饼，碗B这两种曲奇饼各20个。 现在假设你在不看的情况下随机地挑一个碗拿一块饼，得到了一块香草曲奇饼。

问题：从碗A渠道香草曲奇饼的概率是多少

思路

这是一个条件概率问题，我们希望得到P(碗A|香草饼)，

现在我们很容易知道P(香草饼|碗A)=3/4，

如果将两者联系起来，那么P(碗A|香草饼)就很容易算得。

但可惜P(碗A|香草饼)与P(香草饼|碗A)是不同的。

不过贝叶斯定理却可以通过一个概率得到另一个概率。

贝叶斯定理

1. 联合概率可交换，即 P(A and B)=P(B and A)

2. 对于任意事件A、B都独立，因此联合概率P(A and B)=P(B)P(A|B)

3. 两步骤执行交换，即P(B and A)=P(A)P(B|A)

4. 因为步骤1等式，有如下等式成立P(B)P(A|B)=P(A)P(B|A)

5. 最后等式两端除以P(B）,得到P(A|B)=P(A)P(B|A)/P(B)

这就是贝叶斯定理，推导过程比中学时要简单很多。先来计算下曲奇饼问题

本题数学的计算过程

1. P(碗A|香草饼)= P(碗A)*P(香草饼|碗A)/P(香草饼)

2. P(碗A)=1/2

3. P(香草饼|碗A)=3/4

4. P(香草饼)=50/(50+30)=5/8

5. 所以最后经过计算

6. P(碗A|香草饼)=3/5=0.6

先验概率、后验概率、似然度、标准化常量

我觉得在python实现代码前最好大家能够记住先验概率、后验概率这些概念（如果能理解更好）。 对上述贝叶斯定理的理解，还有一种解释思路，叫做“历时诠释”。“历时”意味着某些事情随着时间而发生，即假设的概率随着看到新数据而发生变化。

在考虑H（Hypothsis）和D（Data）情况下，贝叶斯定理的表达式可以写成：

1. P(H|D)=P(H)P(D|H)/P(D)

在考虑H和D的情况下，每项意义如下：

1. P(H)称为先验概率，即在得到新数据前某一假设的概率。如没有得到掷硬币结果前，我们先假设正反面概率各位50%。

2. P(H|D)称为后验概率，即看到新数据后，我们要计算的该假设的概率。

3. P(D|H)是该假设下得到这一数据的概率，称为似然度。

4. P(D)是任何假设下得到这一数据的概率，称为标准化常量。

本题目Python的实现分析

了解了前面的铺垫，现在好办了。希望大家没有看晕，都能坚持到现在。

1. 首先定义Bayes类，初始化创建一个dict类型的容器container。该容器是为了储存贝叶斯各项信息。key键存储假设，value值存储概率

2. Set方法是给容器添加先验假设及先验概率

3. Mult方法：根据key查找到先验概率，并更新概率。

4. Normalize方法：归一化（建议大家等会运行代码时候看下有无Normalize的区别，就能理解归一化这一含义）

5. Prob方法：返回某一事件的概率

好了，有了前面的铺垫，可以附上我的代码

1. class Bayes(object):

2.    def __init__(self):

3.        self._container = dict()

4.    def Set(self,hypothis,prob):

5.        self._container[hypothis]=prob

6.    def Mult(self,hypothis,prob):

7.        old_prob = self._container[hypothis]

8.        self._container[hypothis] = old_prob*prob

9.    def Normalize(self):

10.        count = 0

11.        for hypothis in self._container.values():

12.            count=count+hypothis

13.        for hypothis,prob in self._container.items():

14.            self._container[hypothis]=self._container[hypothis]/count

15.    def Prob(self,hypothis):

16.        Prob = self._container[hypothis]

17.        return Prob

用python解下曲奇饼题

1. #实例化Bayes类

2. bayes = Bayes()

3. #先验概率

4. bayes.Set('Bow_A',0.5)  #P(碗A)=1/2

5. bayes.Set('Bow_B',0.5)  #P(碗B)=1/2

6. #后验概率

7. bayes.Mult('Bow_A',0.75)  #P(香草饼|碗A)=3/4

8. bayes.Mult('Bow_B',0.5)   #P(香草饼|碗B)=1/2

9. bayes.Normalize()

10. prob = bayes.Prob('Bow_A')#P(碗A|香草饼)

11. print('从碗A渠道香草曲奇饼的概率:{}'.format(prob))

运行结果

1. 从碗A渠道香草曲奇饼的概率:0.6

更多内容

文本分析

数据分析

神奇的python

爬虫